package main

import (
	"L.Go/src/crawler/engine"
	"L.Go/src/crawler/scheduler"
	"L.Go/src/crawler/zhenai/parser"
)

const targetUrl = "http://www.zhenai.com/zhenghun"

func main() {

	e := engine.ConcurrentEngine{
		Scheduler:   &scheduler.QueuedScheduler{},
		WorkerCount: 100,
	}
	e.Run(engine.Request{Url: targetUrl, ParserFunc: parser.ParseCityList,})

	//	resp, err := http.Get(targetUrl)
	//	if err != nil {
	//		panic(err)
	//	}
	//	defer resp.Body.Close();
	//	if resp.StatusCode != http.StatusOK {
	//		fmt.Println("Error:status coed is ", resp.StatusCode);
	//		return
	//	}
	//	//将原来得gbk编码的格式转换成utf8
	//	//utf8Reader := transform.NewReader(resp.Body, simplifiedchinese.GBK.NewDecoder())
	//	//获取到网页的编码才是
	//	e := determineEncoding(resp.Body)
	//	//fmt.Println("get encoding is ", e);
	//	utf8Reader := transform.NewReader(resp.Body, e.NewDecoder())
	//	all, err := ioutil.ReadAll(utf8Reader)
	//	if err != nil {
	//		panic(err);
	//	}
	//	fmt.Printf("%s\n", all);
	//}
	//
	//func determineEncoding(r io.Reader) encoding.Encoding {
	//	bytes, err := bufio.NewReader(r).Peek(1024)
	//	if err != nil {
	//		panic(err)
	//	}
	//	e, _, _ := charset.DetermineEncoding(bytes, "");
	//	return e;
	//}
}
